Sau khi từ Pháp về nước, ông làm việc tại trường Viễn Đông Bác Cổ Hà Nội, chuyên về văn học cổ Việt Nam. Ông từng làm Hội trưởng Hội Trí Tri, Hội truyền bá chữ Quốc ngữ trước năm 1945.

Sau Cách mạng Tháng Tám, ông giữ chức Bộ trưởng Cứu tế Xã hội trong chính phủ cách mạng lâm thời. Ông là Đại biểu quốc hội, Chủ tịch Quốc hội khóa I, Quốc vụ khanh trong Chính phủ Liên hiệp lâm thời (1946).

Sau ngày toàn quốc kháng chiến (ngày 19 tháng 12 năm 1946, ông cùng chính phủ rút lên Việt Bắc tiếp tục kháng chiến chống Pháp. Ngày 7 tháng 10 năm 1947, trong một cuộc tấn công chớp nhoáng của quân đội Pháp vào chiến khu trong chiến dịch Việt Bắc, ông bị bắt, bị tra khảo và bị giết tại Bắc Kạn. Có một chi tiết đáng chú ý là cụ Nguyễn Văn Tố có thân hình mảnh dẻ và dong dỏng cao nên ban đầu quân đội Pháp nhầm tưởng ông là chủ tịch Hồ Chí Minh.